Trương Vĩ Lệ sinh ra ở địa cấp thị Hàm Đan,[Ghi chú 3] tỉnh Hà Bắc, Trung Quốc. Từ bé, cô chịu ảnh hưởng văn hóa hướng về võ thuật, vì quê hương là nơi sinh ra của Thái Cực Dương Dân (杨氏太极), một môn phái nhánh của Thái Cực quyền. Sau đó, cô và gia đình chuyển đến Bắc Kinh, đã làm các công việc đời thường phục vụ cuộc sống như: thu ngân tại một siêu thị, giáo viên mẫu giáo và nhân viên bán hàng tại khách sạn.[9]

Cô bắt đầu tập luyện võ thuật từ khi còn nhỏ, bắt đầu với võ Thiếu Lâm sau khi cô được truyền cảm hứng từ các bộ phim kung fu.[10][Ghi chú 4] Năm 12 tuổi, cô bắt đầu tập luyện Tán thủ và một môn đấu vật kiểu Trung Quốc có tên là Suất giác (摔角).[Ghi chú 5][9] Sau đó, cô đồng thời vừa tập luyện, vừa là huấn luyện viên thể dục trong phòng tập võ thuật. Cô dành thời gian để tập luyện Brazil jiu-jitsu (BJJ) – hướng tới kỹ thuật quốc tế hóa. Sau đó cô chuyển sang MMA.[4][11] Trong một chương trình truyền hình Trung Quốc vào tháng 12 năm 2019, cô đã trả lời rằng: siêu sao hành động Hồng Kông Chân Tử Đan là nguồn cảm hứng của cô để thi đấu MMA và bộ phim điện ảnh Ngòi nổ (Flashpoint) năm 2007 của Chân Tử Đan đã thúc đẩy cô theo đuổi môn thể thao MMA.[12]